iT邦幫忙

DAY 11
1

動物園之路系列 第 11

動物園之路 -11- 跟大象說Hello~MapReduce(1)

  • 分享至 

  • xImage
  •  

接下來就要來帶各位來寫個MapReduce,網路上很多資源可以參考,
我主要是使用Cloudera的虛擬機來做示範,虛擬機裡面已經有內建Eclipse讓使用者進行練習。
最近感冒...昨天試安裝CM新的Node弄太晚...
說好的撰寫MapReduce又要延後了XD,
一開始的training專案,裡面有幾個建置好的map,reduce的框,不過肉都還沒補進去。

官方的教學文中,推薦可以先使用GitHub,
https://github.com/eljefe6a/UnoExample
把eljefe6a/UnoExample,這個CardExample下載下來。

基本上下載下來,就可以直接Run,記得要載入要M/R的文件就好。

按下Run之後,就可以執行這個Job,不過看跑的結果,好像沒有使用到Hadoop。

左邊就是Input的資料,右邊是output的結果,下方紅字是運作的流程。
左邊的文字檔是卡片的花色和數字,經過這段MapReduce後,會計算各花色的點數。
Mapper中會把來源的
DIAMONDS 3
sPADes Jack
hearts 3
hearts 2
hearts Ace
JOKER JOKER
轉成(key,value) = (DIAMONDS,3),(hearts, 3)...依此類推。
接著在Reducer就會把相同花色的數字Sum起來。

明天感冒好一點,我再來弄一個範例,來試試看~臉紅


上一篇
動物園之路 -10- 管理大象的好幫手-Cloudera Manager (續)
下一篇
動物園之路 -12- 跟大象說Hello~MapReduce(2)
系列文
動物園之路27
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言